自然语言处理领域(NLP)最近看到使用预先接受训练的语言模型来解决几乎任何任务的大量变化。尽管对各种任务的基准数据集显示了很大的改进,但这些模型通常在非标准域中对临床领域的临床域进行次优,其中观察到预训练文件和目标文件之间的巨大差距。在本文中,我们的目标是通过对语言模型的域特定培训结束这种差距,我们调查其对多种下游任务和设置的影响。我们介绍了预先训练的Clin-X(临床XLM-R)语言模型,并展示了Clin-X如何通过两种语言的十个临床概念提取任务的大幅度优于其他预先训练的变压器模型。此外,我们展示了如何通过基于随机分裂和交叉句子上下文的集合来利用我们所提出的任务和语言 - 无人机模型架构进一步改善变压器模型。我们在低资源和转移设置中的研究显​​示,尽管只有250个标记的句子,但在只有250个标记的句子时,缺乏带注释数据的稳定模型表现。我们的结果突出了专业语言模型作为非标准域中的概念提取的Clin-X的重要性,但也表明我们的任务 - 无人机模型架构跨越测试任务和语言是强大的,以便域名或任务特定的适应不需要。 Clin-Xlanguage模型和用于微调和传输模型的源代码在https://github.com/boschresearch/clin\_x/和Huggingface模型集线器上公开使用。
translated by 谷歌翻译
We introduce a challenging decision-making task that we call active acquisition for multimodal temporal data (A2MT). In many real-world scenarios, input features are not readily available at test time and must instead be acquired at significant cost. With A2MT, we aim to learn agents that actively select which modalities of an input to acquire, trading off acquisition cost and predictive performance. A2MT extends a previous task called active feature acquisition to temporal decision making about high-dimensional inputs. Further, we propose a method based on the Perceiver IO architecture to address A2MT in practice. Our agents are able to solve a novel synthetic scenario requiring practically relevant cross-modal reasoning skills. On two large-scale, real-world datasets, Kinetics-700 and AudioSet, our agents successfully learn cost-reactive acquisition behavior. However, an ablation reveals they are unable to learn to learn adaptive acquisition strategies, emphasizing the difficulty of the task even for state-of-the-art models. Applications of A2MT may be impactful in domains like medicine, robotics, or finance, where modalities differ in acquisition cost and informativeness.
translated by 谷歌翻译
公平感知机器学习的文献知道很多不同的公平概念。然而,众所周知,不可能满足所有人,因为某些概念相互矛盾。在本文中,我们仔细研究了学业绩效预测(APP)系统,并尝试提出最适合这项任务的公平性。为此,我们扫描了最近的文献提出了有关使用哪种公平概念并将这些准则应用于应用程序的准则。我们的发现表明,基于App的Wysiwyg Worldview以及对人群的潜在长期改善,均等的赔率是最适合APP的概念。
translated by 谷歌翻译
对于与行人一起运行的移动机器人,对地面基础设施(例如道路和街道交叉路口)进行了牢固的分类。尽管许多语义分割数据集可用于自动驾驶汽车,但在此类数据集中训练的模型在部署在行人空间中的机器人上时表现出较大的域间隙。从行人角度录制的手动注释图像既昂贵又耗时。为了克服这一挑战,我们提出了TrackletMapper,这是一个注释地面类型的框架,例如人行道,道路和街道交叉点,而无需进行人类注销的数据。为此,我们将机器人自我trajectory和其他交通参与者的路径投射到自我视图相机图像中,为多种类型的接地表面创建稀疏的语义注释,从中可以从中训练地面分段模型。我们进一步表明,该模型可以通过汇总地面图并将其投影到相机图像中,从而自行启动,从而获得额外的性能优势,从而与稀疏的踪迹注释相比,创建了一组密集的训练注释。我们在定性和定量上证明了我们在一个新型的大型数据集上,用于在行人区域运营的移动机器人。代码和数据集将在http://trackletmapper.cs.uni-freiburg.de上提供。
translated by 谷歌翻译
对于任何自主操作的户外机器人或自动驾驶车辆,对移动车辆的强大检测是一项至关重要的任务。解决此任务的大多数现代方法都依赖于使用大型车辆检测数据集(如Nuscenes或Waymo Open Dataset)训练基于图像的检测器。提供手动注释是一种昂贵且费力的锻炼,在实践中不能很好地扩展。为了解决这个问题,我们提出了一种自我监督的方法,该方法利用音频线索来检测视频中的移动车辆。我们的方法采用对比度学习,用于从相应的图像和录制音频对的图像中定位车辆。在使用现实世界数据集进行的广泛实验中,我们证明了我们的方法提供了对移动车辆的准确检测,并且不需要手动注释。我们此外表明,我们的模型可以用作老师来监督仅音频检测模型。该学生模型是在照明变化中不变的,因此有效地弥合了将视力仅作为主要模态的模型固有的域间隙。
translated by 谷歌翻译
我们研究了一个多领导的单追随者拥塞游戏,多个用户(领导者)选择一个资源中的一个资源,并且在观察实现的负载后,对手(单追随器)攻击最大负载的资源,导致额外的资源领导者的成本。对于领导者之间产生的战略游戏,我们表明纯净的纳什均衡可能无法存在,因此,我们考虑了近似均衡。作为我们的第一主要结果,我们展示了$ k $的存在,可以始终保证$ k $的均衡,其中$ k \约1.1974 $是立方多项式方程的独特解决方案。为此,我们提供了一种多项式时间组合算法,其计算$ k $的均衡。因子$ k $很紧,这意味着有一个实例不承认任何$ \ alpha <k $的$ \ alpha $。因此,$ \ alpha = k $是$ \ alpha $的最小可能值,使得可以保证$ \ alpha $-ruckimate均衡的存在,以查找考虑游戏的任何实例。其次,我们专注于给定固定实例的近似均衡。我们展示了如何有效地计算最佳近似平衡,即在给定实例的所有$ \ alpha $中具有最小的$ \ alpha $。
translated by 谷歌翻译